Phạm Văn Trà quê quán ở xã Phù Lãng, huyện Quế Võ, tỉnh Bắc Ninh.

Năm 1953, 18 tuổi, Phạm Văn Trà tham gia Quân đội nhân dân Việt Nam, phục vụ với vai trò lính thông tin. Năm 1964, ông là một trong những người chỉ huy của lực lượng đầu tiên tiếp viện cho chiến trường U Minh. Năm 1964 đến hết chiến tranh, ông là một sĩ quan Quân Giải phóng miền Nam Việt Nam của lực lượng vũ trang miền Tây.

Năm 1973, ông là Trung đoàn trưởng Trung đoàn 1 Quân khu 9, dưới quyền Đại tá Lê Đức Anh.

Từ tháng 12 năm 1975 đến năm 1977, ông lần lượt giữ chức Tham mưu trưởng Sư đoàn 4, rồi Sư đoàn phó kiêm Tham mưu trưởng Sư đoàn 330, Quân khu 9.

Từ tháng 9 năm 1978, ông về học tại Học viện Quân sự cấp cao. Đến tháng 8 năm 1980, ông là Sư đoàn trưởng Sư đoàn 330, tham chiến tại Campuchia. Tháng 3 năm 1983, ông là Phó Tư lệnh Mặt trận 979.

Từ năm 1985 đến 1988, ông giữ chức vụ Phó Tư lệnh kiêm Tham mưu trưởng Quân khu 9. Tháng 6 năm 1988, ông được điều về giữ chức vụ Phó Tư lệnh Quân khu 3.

Từ năm 1989 đến 1993, ông giữ chức Tư lệnh Quân khu 3. Đến tháng 12 năm 1993, ông được cử làm Phó Tổng Tham mưu trưởng; từ tháng 12 năm 1995, ông là Thứ trưởng Bộ Quốc phòng, kiêm Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam, hàm Trung tướng. Đến tháng 12 năm 1997, ông được phân công giữ chức vụ Bộ trưởng Bộ Quốc phòng thay tướng Đoàn Khuê nghỉ hưu.[1]

Ông là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa VII (1991-1996).[2]

Ông là Ủy viên Bộ Chính trị, Ban chấp Trung ương Đảng khóa VIII (1996-2001), khóa IX (2001-2006)[3], Đại biểu Quốc hội liên tiếp 3 khóa IX, X, XI.[4]

Ngày 28 tháng 6 năm 2006 ông được Quốc hội miễn nhiệm chức vụ Bộ trưởng Bộ Quốc phòng.[5]

Ông được phong hàm Thiếu tướng 1987 Trung tướng 1993 Thượng tướng năm 1998, Đại tướng năm 2003.